Runtime-Orchestrated Second-Order Optimization for Scalable LLM Training
运行时编排的二阶优化实现可扩展大模型训练
🧭 二阶训练运行时优化
University of Oxford
Asteria通过异步状态分布和有界陈旧同步，将二阶优化器高效应用于大模型训练
📌 工作参考价值（4 点）
- 优化器状态卸载到主机：将二阶优化器的大矩阵状态移至CPU内存或NVMe，GPU仅保留模型参数与梯度，大幅降低显存占用，使推荐/Agent模型中亦可尝试SOAP等二阶优化器以提升样本效率。
- 异步逆平方根计算：利用训练hook预准备影子状态，在主机端后台计算昂贵的矩阵逆平方根，GPU不用等待，适合大embedding矩阵等场景下将耗时的矩阵运算剥离出关键路径。
- 有界陈旧同步协议：分布式训练中设定同步频率上限，结合拓扑感知协调，在多个worker间减少通信开销的同时保障优化有效性，可直接在电商推荐模型的分布式训练中推广。
- 存储分层与动态调度：根据运行时内存压力，动态在GPU显存、CPU内存、NVMe间迁移优化器状态，应对内存受限环境，为部署大规模agent或生成式推荐模型的训练提供弹性资源管理思路。